DAC: Detector-Agnostic Spatial Covariances for Deep Local Features

Current deep visual local feature detectors do not model the spatial uncertainty of detected features, producing suboptimal results in downstream applications. In this work, we propose two post-hoc covariance estimates that can be plugged into any pretrained deep feature detector: a simple, isotropic covariance estimate that uses the predicted score at a given pixel location, and a full covariance estimate via the local structure tensor of the learned score maps. Both methods are easy to implement and can be applied to any deep feature detector. We show that these covariances are directly related to errors in feature matching, leading to improvements in downstream tasks, including solving the perspective-n-point problem and motion-only bundle adjustment. Code is available at https://github.com/javrtg/DA

¿Cómo debemos posicionar la cámara en el proceso de calibración para reducir el error?

La calibración de una cámara consiste en la caracterización de cómo la realidad 3D se proyecta en el plano imagen 2D, siendo de gran importancia para sistemas de reconstrucción 3D. El procedimiento habitual de calibración consiste en la captura de varias imágenes de un patrón de geometría conocida, desde distintos puntos de vista. La precisión de la calibración está muy relacionada con dichas vistas; y sin embargo, la literatura acerca de la relación entre ambas es escasa y los pocos métodos existentes son secuenciales: A partir de una calibración predicen cuál es la siguiente vista a tomar para minimizar el error. En la literatura no existen resultados teóricos ni análisis acerca del problema general, no secuencial, de cuáles son las mejores vistas para calibrar una cámara. El objetivo de este TFG es establecer, mediante análisis teórico y con simulación, una forma general de ubicar los patrones de calibración sin conocimiento previo de otras imágenes. Dicho de otra forma, encontrar unas posiciones y orientaciones de cámara que aseguren un error de calibración bajo. Además, se desarrollará una herramienta interactiva para ayudar a la colocación relativa entre patrón y cámara que asegura dicho error bajo. Para ello se estudia la relación entre la posición y la orientación de la cámara que capturó las imágenes del patrón con el error o incertidumbre en la estimación de los parámetros del modelo. Nuestros resultados experimentales han mostrado mejoras con respecto al estado del arte en simulación e imágenes reales. En concreto, nuestro método tiene errores de calibración menores o comparables al estado del arte, con un coste significativamente menor.<br /

Localización, mapeo y seguimiento de objetos en escenas dinámicas

El SLAM (Localización y Mapeo Simultáneo) y SfM (Estructura a partir de Movimiento), son dos de las técnicas de mayor importancia actual que permiten, a través de información visual y entre otras funciones, localizar a un agente en el entorno que éste atraviesa. Una de las asunciones principales que es común en muchas de sus implementaciones, es que el entorno en el que los sensores capturan la información es predominantemente estático. En la práctica, la mayoría de estos sistemas, implementan técnicas que robustecen las estimaciones ante entidades dinámicas hasta cierto punto. Sin embargo, si la componente dinámica de la escena se vuelve significativa, tanto la localización como la geometría del entorno se vuelven erróneas. En este TFM se aborda este problema. En concreto, se incorpora la estimación del movimiento, de 6 grados de libertad, que experimentan los objetos dinámicos presentes en la escena. Para ello, nos centramos en objetos rígidos, ajustando sus trayectorias a curvas B-Spline Cumulativas, las cuales presentan, entre otras propiedades, la ventaja de ofrecer estimaciones continuas en el tiempo de posición, orientación, velocidad y aceleración. Diferenciándonos así de los trabajos del estado del arte. Así mismo, se plantean estrategias que reducen el coste computacional de manera significativa, siendo aplicables a cualquier proyecto que emplee este tipo de curvas. La evaluación de la propuesta muestra las ventajas de nuestro acercamiento: A pesar de estar imponiendo un modelo de trayectoria, tanto con datos sintéticos, como con una base datos pública, se obtienen resultados similares en precisión en cuanto a localización y orientación de los objetos dinámicos, a la vez que mejorando las estimaciones de la velocidad que éstos experimentan, en comparación con las estimaciones en tiempo discreto del estado del arte.<br /